尽管相似性搜索研究的不断发展,但它仍然面临着由于数据的复杂性而面临的相同挑战,例如维度和计算距离距离功能的诅咒。已证明,各种机器学习技术能够用简单的线性功能组合来代替精心设计的数学模型,通常以正式保证的准确性和正确的查询性能来获得速度和简单性。作者通过为3D蛋白质结构搜索的复杂问题提供了轻巧的解决方案来探索这一研究趋势的潜力。该解决方案由三个步骤组成:(i)将3D蛋白结构信息转换为非常紧凑的向量,(ii)使用概率模型将这些向量分组并通过返回给定数量的类似对象和(iii)来响应查询,并且)最终的过滤步骤,该步骤应用基本的向量距离函数来完善结果。
translated by 谷歌翻译
We propose a Randomised Subspace Gauss-Newton (R-SGN) algorithm for solving nonlinear least-squares optimization problems, that uses a sketched Jacobian of the residual in the variable domain and solves a reduced linear least-squares on each iteration. A sublinear global rate of convergence result is presented for a trust-region variant of R-SGN, with high probability, which matches deterministic counterpart results in the order of the accuracy tolerance. Promising preliminary numerical results are presented for R-SGN on logistic regression and on nonlinear regression problems from the CUTEst collection.
translated by 谷歌翻译
如果学习组件的趋势最终超过了手工制作的版本,那么学习的优化器最终将优于SGD或ADAM等手工制作的优化器。即使学到的优化器(L2OS)最终在实践中超过手工制作的优化器,但它们仍然没有被证明是融合的,并且可能会失败。这些是这里解决的问题。目前,学习的优化器经常超过一般的手工制作的优化器(例如梯度下降),但在一段时间后,它们通常会在一段时间后平稳,而通用算法继续取得进步,并且经常超过学习算法,因为它占据了Aseop的乌龟,从而超过了野兔的野兔。 L2OS仍然很难概括分配。 Heaton等。拟议的保护L2O(GL2O)可以采用学习的优化器并使用通用学习算法进行保护,以便通过有条件地在两者之间进行切换,可以证明所得算法可以收敛。我们提出了一类新的保障L2O,称为“损失的L2O”(LGL2O),这在概念上既简单又便宜。守卫机制仅基于两个优化器的预期未来损失价值决定。此外,与GL2O和其他基准相比,我们显示了LGL2O的收敛保证和经验结果的理论证明,表明它结合了L2O和SGD的最佳状态,而实际上,它比GL2O更好地收敛。
translated by 谷歌翻译